Learn to Pool: Lightweight Fine-Tuning for Flexible Multi-Vector Compression
轻量微调实现灵活多向量压缩的池化学习
🧭 多向量检索模型轻量压缩微调
Independent Researcher
用轻量微调与k-means池化让ColBERT压缩83%向量而不损失检索精度
📌 工作参考价值（4 点）
- 在电商搜索或推荐的多向量模型（如 ColBERT）中，直接用 k-means 聚类池化加轻量微调，可将文档向量压缩 80%+，大幅降低线上存储与召回延迟。
- 多因子训练让单一模型同时适配不同压缩级别，可根据业务场景灵活切换（粗排高压缩，精排低压缩），无需维护多套模型。
- 只需少量目标域数据微调（而非全量对比学习），适合在业务中快速迭代，将通用检索能力迁移到垂直领域。
- 池化策略具备跨数据集迁移能力，可用通用数据预训练池化头，再在电商 query-doc 对上调优，减少冷启动成本。